Elizabeth Woodville sinh vào khoảng tháng 10 năm 1437, tại Grafton Regis, Northamptonshire. Họ của bà còn được đánh vần là Wydeville hoặc Wydvile, là con đầu lòng của một cuộc hôn nhân bất bình đẳng xã hội đã từng làm chướng tai gai mắt triều đình nước Anh. Cha bà, Richard Woodville, là một hiệp sĩ khi bà được sinh ra, và dòng họ Woodville là một dòng họ lâu đời và đáng kính trọng tại Anh, tuy vậy chỉ ở dạng điền chủ hơn là quý tộc. Cha của Richard có một sự nghiệp phuc vụ triều đình, trung thành với John Lancaster, Công tước xứ Bedford, và Richard tiếp nối sự nghiệp của cha, do đó ông gặp gỡ Jacquetta xứ Luxembourg, con gái của Peter xứ Luxembourg, Tử tước Saint-Pol và là góa phụ của Công tước Bedford. Jacquetta xuất thân rất cao quý ở xứ Luxembourg, từng kết hôn với Công tước xứ Bedford, một người già hơn bà rất nhiều vào năm 1433, khi bà mới 17 tuổi. Công tước chết vì già yếu vào năm 1435, Jacquetta đã muốn nhận được sự cho phép của nhà vua trước khi tái hôn nhưng vào tháng 3 năm 1437, Jacquetta đã bí mật kết hôn với Richard Woodville, một người có địa vị thấp hơn bà rất nhiều.

Mặc dù có khởi đầu không thuận lợi nhưng họ nhanh chóng lấy lại được vị thế, chủ yếu là nhờ danh tiếng của Jacquetta trong triều đình nước Anh. Bà vẫn giữ được tước vị [Bà Công tước Bedford; "Duchess of Bedford"] ở cuộc hôn nhân trước và được cung cấp cho một khoản thu nhập từ £7,000 đến £8,000 mỗi năm[2]. Richard Woodville được kính trọng với vị trí nhất định trong quân đội. Vận may lại đến khi Henry VI của Anh kết hôn với Margaret xứ Anjou, Richard trở thành người hộ tống cô dâu đến nước Anh. Nhờ những đóng góp cho triều đình, năm 1448, Richard được phong làm [Nam tước Rivers; "Baron Rivers"], khiến nhà Woodville chính thức thành quý tộc.

Theo truyền thuyết, Elizabeth Woodville được tôn vinh như một đại mỹ nhân, là "Người đàn bà đẹp nhất Đảo quốc Anh" với "đôi mắt sắc như mắt rồng" cùng "mái tóc vàng óng" trong truyền thuyết[3]. Vào khoảng năm 1452, Elizabeth Woodville kết hôn với John Grey xứ Groby, người thừa kế của tước vị Nam tước xứ Groby thông qua họ mẹ và là người nhà Lancaster.